Advances in Reliably Evaluating and Improving Adversarial Robustness

Machine Learning hat in den letzten fünf bis zehn Jahren enorme Fortschritte gemacht. Heutzutage können wir Computer, Maschinen, dazu bringen, komplexe Wahrnehmungsaufgaben aus Daten zu lernen, anstatt sie explizit zu programmieren. Besonders moderne Sprach- und Bilderkennungssysteme erreichen im Vergleich zu denen von vor einem Jahrzehnt mittlerweile eine beeindruckende Genauigkeit. Weniger beeindruckend ist die Anfälligkeit von Machine-Learning-Systemen für kleine, böswillig herbeigeführte Störungen. Kaum wahrnehmbare Hintergrundgeräusche oder Veränderungen ausgewählter Pixel können sie komplett in die Irre führen. Während Menschen sich oft über diese Dummheit künstlicher Intelligenz amüsieren, machen sich Entwickler Sorgen um die Sicherheit ihrer Machine-Learning-Anwendungen, und Wissenschaftler suchen nach robusteren Machine-Learning-Modellen, deren Wahrnehmung mehr der des Menschen entspricht. Diese Dissertation fasst Fortschritte in drei Bereichen rund um die Robustheit gegen gezielte Störungen zusammen und diskutiert ihre Implikationen. Erstens stellen wir eine neue Art Attacke vor, die Machine-Learning-Anwendungen ganz unmittelbar angreifen kann. Im Gegensatz zu vorangegangenen Attacken erfordert sie weder Insiderwissen noch besonderen Zugang zum Modell. Unsere Ergebnisse zeigen die konkrete Bedrohung, die durch die derzeitig fehlende Robustheit von Machine-Learning-Anwendungen entsteht. Zweitens präsentieren wir mehrere Arbeiten, die sich mit den verschiedenen Herausforderungen bei der Robustheits-Evaluierung befassen. Die grundlegendste Herausforderung dabei ist, dass gängige Testmethoden robuste Modelle nicht von Modellen mit irreführenden Gradienten unterscheiden können. Durch zwei neue Arten von Testmethoden, die immun gegen irreführende Gradienten sind, helfen wir, dieses Problem aufzudecken und zu lösen. Falsche Anreize sind ein weiterer Grund für fehlerhafte Evaluierungen. Um dieses Problem zu lindern, haben wir gemeinsame Richtlinien veröffentlicht und einen interaktiven Wettbewerb organisiert. Schlussendlich haben wir mit Foolbox eine Open-Source-Softwarebibliothek mit Testmethoden veröffentlicht, die unzähligen Forschern hilft, gängige technische Hindernisse beim Evaluieren von Modellen zu überwinden. Da die Evaluierung von Robustheit grundsätzlich nicht standardisiert werden kann, führt der einfache Zugang zu verschiedenen Testmethoden in der Praxis darüberhinaus zu gründlicheren Evaluierungen und verlässlicheren Ergebnissen. Drittens haben wir eine völlig neue neuronale Netzwerk-Architektur entwickelt, die robustes Klassifizieren ermöglichen soll. Sie verwendet einen generativen Analysis-by-Synthesis-Ansatz. Am Beispiel eines Modells zur Ziffernerkennung demonstrieren wir die Robustheit dieser Architektur und zeigen gleichzeitig die Grenzen früherer Arbeiten auf, die Adversarial Training verwenden. Neuere Studien haben außerdem gezeigt, dass unser Modell die menschliche Wahrnehmung sogenannter kontroverser Stimuli besser als andere Modelle vorhersagt und dass unser Ansatz auch auf komplexere Datensätze skaliert.Machine learning has made enormous progress in the last five to ten years. We can now make a computer, a machine, learn complex perceptual tasks from data rather than explicitly programming it. When we compare modern speech or image recognition systems to those from a decade ago, the advances are awe-inspiring. The susceptibility of machine learning systems to small, maliciously crafted adversarial perturbations is less impressive. Almost imperceptible pixel shifts or background noises can completely derail their performance. While humans are often amused by the stupidity of artificial intelligence, engineers worry about the security and safety of their machine learning applications, and scientists wonder how to make machine learning models more robust and more human-like. This dissertation summarizes and discusses advances in three areas of adversarial robustness. First, we introduce a new type of adversarial attack against machine learning models in real-world black-box scenarios. Unlike previous attacks, it does not require any insider knowledge or special access. Our results demonstrate the concrete threat caused by the current lack of robustness in machine learning applications. Second, we present several contributions to deal with the diverse challenges around evaluating adversarial robustness. The most fundamental challenge is that common attacks cannot distinguish robust models from models with misleading gradients. We help uncover and solve this problem through two new types of attacks immune to gradient masking. Misaligned incentives are another reason for insufficient evaluations. We published joint guidelines and organized an interactive competition to mitigate this problem. Finally, our open-source adversarial attacks library Foolbox empowers countless researchers to overcome common technical obstacles. Since robustness evaluations are inherently unstandardized, straightforward access to various attacks is more than a technical convenience; it promotes thorough evaluations. Third, we showcase a fundamentally new neural network architecture for robust classification. It uses a generative analysis-by-synthesis approach. We demonstrate its robustness using a digit recognition task and simultaneously reveal the limitations of prior work that uses adversarial training. Moreover, further studies have shown that our model best predicts human judgments on so-called controversial stimuli and that our approach scales to more complex datasets

Untersuchung des Gleittransfermechanismus an Korngrenzen in kfz-metallenen oligo- und bikristallinen Proben mittels 2D- und 3D-HR-EBSD

Mit dieser Arbeit sollte ein zu den etablierten Methoden alternativer Ansatz zur Untersuchung von Versetzungsprozessen auf Tauglichkeit überprüft werden. Dieser basiert auf der Berechnung des Nye- und Disclinationstensor anhand von mittels EBSD gewonnenen Orientierungsdaten, die mit der Methode der high resolution (HR) electron back scatter diffraction (EBSD) aufbereitet wurden. Es sollte untersucht werden, inwiefern der Disclinationtensor Aufschluss über das Relaxationsverhalten von Korngrenzen geben kann. Hierzu wurde dessen Entwicklung bei andauernder Deformation der Korngrenzen durch statische Lasten sowie durch von einem Ermüdungsriss ausgesandten Versetzungen beobachtet. So konnte gezeigt werden, dass der Disclinationtensor sehr sensibel auf Versetzungsprozesse in der Korngrenze reagiert. Zu einer Interpretation dessen Verhaltens empfiehlt sich jedoch die Verwendung einer zusätzlichen Sonde, wie den hier beobachteten Ermüdungsrissen. Des Weiteren wurde mittels 3D-EBSD-Tomographie der vollständige Nye-Tensor eines Teilvolumens eines ermüdeten, bikristallinen Mikrobiegebalkens ermittelt und unter Verwendung verschiedener Randbedingungen nach den Dichten einzelner Versetzungstypen aufgelöst. Hierzu musste eine Methode zur HR-EBSD an dreidimensionalen Orientierungsdatensätzen entwickelt werden, da die bislang einzige hierzu zur Verfügung stehende Software CrossCourt nur zweidimensionale Daten verarbeiten kann. Hierzu wurden aus dem rekonstruierten, dreidimensionalen Datensatz künstliche zweidimensionale Datensätze erstellt. Diese wie auch die Originaldatensätze wurden mittels HR-EBSD aufbereitet und zu einem vollständigen, dreidimensionalen Orientierungsgradienten zusammengeführt. Zwar zeigte sich, dass diese Vorgehensweise sichtbare Artefakte erzeugt, deren Größe jedoch deutlich unterhalb der der abzubildenden Strukturen lag. Die Zerlegung des Nye-Tensors in einzelne Versetzungstypen konnte hingegen keine zufriedenstellenden Ergebnisse liefern.DFG - Lokale Bestimmung des Korngrenzenwiderstandes gegen 3D-Stadium-I-Rissausbreitung: Verknüpfung von Spannungs- und Geometriekonzep

Über die Bedeutung von Immature Platelet Fraction und Thrombopoietin bei Patienten mit Leberzirrhose

Hintergrund: Patienten mit Leberzirrhose entwickeln häufig eine Thrombozytopenie. Wir haben untersucht, ob die Bestimmung der Immature Platelet Fraction (IPF%), welche den prozentualen Anteil unreifer Thrombozyten an der Gesamtthrombozytenzahl darstellt, und von Thrombopoietin (TPO), dem Wachstums- und Differenzierungsfaktor der megakaryozytären Zellreihe, dabei hilft, die Ursache der Thrombozytopenie einzugrenzen, und ob die Bestimmung der Immature Platelet Fraction Hinweise auf den Schweregrad der Leberzirrhose sowie das Auftreten von Komplikationen der Leberzirrhose geben kann. IPF% wird heute bereits zur Differenzierung der Ursachen einer Thrombozytopenie in der klinischen Praxis bestimmt, wohingegen die Bedeutung der TPOBestimmung aufgrund der vielfältigen Ergebnislage nicht abschließend geklärt ist. Methoden: Im Zeitraum von März 2013 bis Januar 2014 wurden 88 Patienten mit Leberzirrhose prospektiv erfasst. Die erhobenen Daten umfassen den aktuellen Zustand und Verlauf der Erkrankung sowie laborchemische Parameter. Die Immature Platelet Fraction wurde durch das Analysegerät XE-5000 von Sysmex bestimmt, Thrombopoietin mittels eines ELISA. Die Einteilung des Schweregrades der Leberzirrhose erfolgte mittels Abdomensonographie und FibroScan®. Dabei wurde auch der Längsdurchmesser der Milz bestimmt. Zudem wurden der Child-Pugh-Score und der MELD-Score berechnet. Bei Vorliegen von Aszites wurde dieser nach Standard punktiert und auf das Vorliegen einer spontanen bakteriellen Peritonitis untersucht. Bei Erstdiagnose einer Leberzirrhose sowie bei akutem oder stattgehabtem Blutungsereignis innerhalb des letzten halben Jahres wurden die Patienten einer Ösophago- Gastro-Duodenoskopie unterzogen. Die statistische Auswertung wurde mit dem Programm SPSS® Statistics durchgeführt. Ergebnisse: IPF% (p = 0,003) und Milzgröße (p = 0,001) sind bei Patienten mit Thrombozytopenie signifikant erhöht. Keine signifikanten Unterschiede zeigen die Mittelwerte von TPO. Die Mittelwerte von IPF% unterscheiden sich zwischen den Child-Pugh-Stadien A, B, C signifikant (p = 0,044). IPF% ist bei Patienten mit Ösophagusvarizen signifikant erhöht (p = 0,005). Die ermittelte ROC-Kurve weist mit einer Fläche unter der Kurve von 0,669 auf eine geringe prädiktive Wertigkeit der IPF%-Bestimmung zur Beurteilung des Vorliegens von Ösophagusvarizen hin. Bei einem Cut-off-Wert von IPF% von 3,85% liegt die Sensitivität nur bei 76,6% bei einer Spezifität von 52,4%. Schlussfolgerungen: Die Ergebnisse unserer Studie zeigen, dass die Splenomegalie eine wichtige Rolle bei der Entstehung der Thrombozytopenie bei Patienten mit mäßig fortgeschrittener Leberzirrhose spielt. Erhöhte IPF%-Werte bei Patienten mit Thrombozytopenie deuten auf einen peripheren Verbrauch der Thrombozyten hin, der aufgrund des signifikanten Zusammenhangs zwischen Längsdurchmesser der Milz und Thrombozytenzahl wahrscheinlich in der Milz stattfindet. Thrombopoietin zeigt keine signifikanten Veränderungen bei Patienten mit Thrombozytopenie, jedoch konnten wir nicht ausschließen, dass eine eingeschränkte Thrombopoietin-Synthese in der Leber einen Einfluss auf die Thrombozytenzahl im Blut hat. Die Zusammenhänge zwischen IPF% und Thrombozyten deuten dabei auf erhaltene physiologische Regulationsprozesse der Thrombozytenzahl im Blut bei mäßig fortgeschrittener Leberzirrhose hin. Unsere Ergebnisse deuten zudem darauf hin, dass die Bestimmung der IPF% Hinweise auf den Grad der Leberzirrhose sowie das Vorliegen von Ösophagusvarizen gibt. Diese Zusammenhänge werden durch unsere Studie erstmalig beschrieben. Aufgrund niedriger Sensitivität und Spezifität eignet sich die Bestimmung aktuell nicht als prädiktiver Parameter. Unsere Ergebnisse sollten jedoch in einer größeren Studie überprüft werden. Dabei sollte untersucht werden, wie sich IPF% bei gesunden Probanden im Verlauf des Lebens verhält und ob im Vergleich zu Patienten mit Leberzirrhose Unterschiede bestehen, insbesondere bei der Betrachtung des Verlaufs von Stadium Child-A hin zu Stadium Child-C. In diesem Zusammenhang könnte dann auch untersucht werden, ob sich bei der Entwicklung von Ösophagusvarizen Veränderungen der IPF%-Werte zeigen.IPF and thrombopoietin in patients with liver cirrhosis: Background and aims Thrombocytopenia occurs frequently in patients with cirrhosis. The immature platelet fraction (IPF%) is measured to differentiate the causes of thrombocytopenia. So far the relevance of thrombopoietin (TPO) in the context of cirrhosis is unknown. The aim of our study was to investigate the cause of thrombocytopenia in patients with liver cirrhosis by measuring IPF%, TPO and spleen size. In addition we examined the use of IPF% to evaluate the severity of cirrhosis and its complications. Methods Overall, we included 88 in-patients with cirrhosis in our study. The collected data comprises the current state of health, blood parameters, severity of cirrhosis evaluated by Child-Pugh score and MELD score, spleen diameter, ascites and esophageal varices. The IPF% was measured using an automatic hematology analyzer. TPO was measured by ELISA. Results IPF% (p = 0.003) and spleen diameter (p = 0.001) are significantly higher in patients with thrombocytopenia. There is no significant difference in TPO in patients with thrombocytopenia as compared to patients without. The mean values of IPF% vary significantly (p = 0.044) in Child-Pugh stages. IPF% is significantly (p = 0.005) elevated in patients with esophageal varices. IPF% higher than 3.85% displayed sensitivity of 76.6% and specificity of 52.4% with an area under receiver operating curve characteristics of 0.669 for the presence of esophageal varices. Conclusion Splenomegaly seems to be the major cause of thrombocytopenia in patients with cirrhosis. Higher IPF% in patients with thrombocytopenia indicates peripheral consumption of platelets. The relation between spleen diameter and platelet count indicates the spleen to be the major place of consumption. TPO did not differ between patients with and without thrombocytopenia. Furthermore, we cannot exclude an influence of an impaired synthesis of thrombopoietin on platelet counts. The relation between IPF% and platelet count presumes that there is physiological regulation of platelets in patients with cirrhosis. In our study IPF% is associated with esophageal varices and the stage of cirrhosis. Further studies are needed to confirm our results